【新智元導讀】深夜，梁文鋒署名的DeepSeek新論文又來了。這一次，他們提出全新的Engram模組，解決了Transformer的記憶難題，讓模型容量不再靠堆參數！剛剛 ，DeepSeek新論文發佈了，梁文鋒署名！這一次，他們聯手北大直接瞄準了「記憶」，是Transformer最致命的關鍵難題。如今，MoE成為大模型主流架構，但本質仍是Transformer，因其缺少原生「知識尋找」機制，很多檢索能力被迫用大量計算去模擬。33頁論文中，團隊提出了 MoE 互補的「條件記憶」稀疏軸，並通過一種全新的Engram模組去實現：將經典雜湊N-gram嵌入現代化，提供近似O(1)的確定性知識尋找。論文地址：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf通過「稀疏分配」（Sparsity Allocation）建模，他們意外發現MoE與Engram之間，存在「U形scaling law」。這意味著，需調整兩者之間資源比例，讓計算與靜態記憶間找到最優權衡。沿著這個規律，將Engram擴展到27B參數後，並在嚴格等參數、等FLOPs下優於MoE基線。直白講，MoE只解決「怎麼少算」，Engram直接解決「別瞎算」。它把該查的交給 O(1)記憶，把注意力從局部瑣碎中解救出來，結果不只是更會背知識，同時推理、程式碼、數學一起變強。這可能成為稀疏LLM下一條主流路線，更重要的是，下一代V4或將整合這一新方法。不再苦算，給Transfomer插入「電子腦」當前，LLM越做越大已成為「鐵律」，一條熟悉的路徑是——把參數做大，把計算做「稀疏」。混合專家模型（MoE）就是典型代表，每個token只需啟動少量專家，用「條件計算」讓參數規模飆升，FLOPs還能控住。從Artifical Analysis榜單中可以看出，現有的稀疏大模型，主流都是MoE。但問題在於，Transformer缺少一種「原生的知識尋找」能力，所以很多本該像檢索一樣 O(1)解決的事，被迫用一堆計算去「模擬檢索」，效率很不划算。北大和DeepSeek新論文帶來一個很有意思的觀點：稀疏化不只服務「計算」，也可以服務「記憶」。由此，團隊提出了Engram，把語言建模中大量「固定、局部、刻板」的模式，交給一個可擴展的查表模組去承擔。這樣一來，可以讓Transformer主幹把注意力和深度用在更需要「組合與推理」的地方。語言建模，兩類任務論文中，作者明確將語言建模拆成兩類子任務：一部分任務需「組合與推理」：上下文關係、長程依賴、邏輯推理、鏈式推理。另一部分任務更像「模式檢索」：實體名、固定搭配、常見短語、語法片段、重複出現的局部結構後者的一個共同點很明顯，即它們往往局部、穩定、重複出現。若是用多層注意力和FFN去「算」他們，模型做得到，但成本極高，還會擠佔早期層的表達空間。為了識別實體「戴安娜，威爾士王妃」（Diana，Princess of Wales），LLM必須消耗多層注意力和FFN來逐步組合特徵，這個過程理論上是可以通過一次知識尋找操作來完成的。而Engram想做的事情很直接——把這類「局部靜態模式」轉移到一個廉價的知識尋找原語。它用確定性的查表快速給出候選資訊，再由上下文決定是否採納。Engram核心架構：暴力查表+記憶開關Engram一詞源於神經學，本意為「記憶痕跡」，是一種可擴展、可檢索的記憶單元。它可以用於儲存LLM在推理過程中，可能已接觸過的模式、資訊片段。可以將Engram理解為，把經典「雜湊N-gram嵌入」現代化，做成插在Transformer中間層的一個「可擴展查表模組」。如圖1所示，Engram是一個條件記憶模組，旨在通過從結構上將靜態模式儲存與動態計算分離開來，從而增強Transformer骨幹網路。形式化地說，給定輸入序列X=(x_1,...,x_T)和第l層的隱藏狀態H^(l)∈R^Txd，該模組分兩個功能階段來處理每個位置t：檢索和融合。接下來，一起看看Engram的關鍵設計點。基於雜湊N-gram的稀疏檢索第一階段主要負責將局部上下文對應到靜態的記憶條目中，這通過分詞器壓縮（tokenizer compression）和確定性雜湊檢索嵌入來實現。分詞器壓縮為了最大化語義密度，作者引入了一個詞表投影層。他們預先計算了一個滿射函數P:V→V'，利用歸一化的文字等價性（比如NFKC、小寫化等手段）將原始Token ID坍縮成規範識別碼。這個過程能讓128k大小的分詞器有效詞表大小減少23%。多頭雜湊要想直接參數化所有可能的N-grams組合空間，計算上是行不通的。作者採用了一種基於雜湊的方法。為了減少沖突，給每個N-gram階數n分配了K個不同的雜湊頭。每個頭k通過一個確定性函數φ_n,k,將壓縮後的上下文對應到嵌入表E_n,k中的一個索引：上下文感知門控檢索到的嵌入e_t充當的是上下文無關的先驗資訊。不過，它們容易受到雜湊衝突或多義詞帶來的噪聲干擾。為了增強表達力並解決這種歧義，作者採用了一套受注意力機制啟發的上下文感知門控機制。他們利用當前的隱藏狀態h_t作為動態的Query，而檢索到的記憶e_t則作為Key和Value投影的來源：其中W_K，W_V是可學習的投影矩陣。為了保證梯度穩定性，他們在計算標量門α_t∈(0,1)之前，先對Query和Key進行RMSNorm處理：最後，為了擴大感受野並增強模型的非線性，作者還引入了一個短的深度因果摺積：門控可視化為了實證驗Engram是否按預期行為，作者在圖7中可視化了Engram-27B在各種樣本上的門控標量α_t。結果展示了，明顯的選擇性模式。門控機制在完成局部、靜態模式時一致地啟動（顯示為紅色）。在英文中，觀察到在多Token命名實體（如Alexander the Great、the Milky Way）和固定短語（如By the way，Princess of Wales）上有強烈的啟動。關鍵是，這種行為有效地跨語言泛化。在中文demo中，Engram識別並檢索獨特的習語表達和歷史實體，比如「四大發明」和「張仲景」。這些定性結果證實，Engram成功識別並處理了固定的語言依賴關係，有效地將Transformer骨幹網路從記憶這些靜態關聯中解放出來。系統效率：計算與儲存解耦擴展記憶增強型模型往往受限於GPU高頻寬記憶體（HBM）的容量。然而，Engram的確定性檢索機制天生就支援將參數儲存與計算資源解耦。與依賴執行階段隱藏狀態進行動態路由的混合專家模型（MoE）不同，Engram的檢索索引僅取決於輸入的Token序列。這種可預測性為訓練和推理提供了專門的最佳化策略，如圖2所示。訓練階段，為了容納大規模嵌入表，他們採用標準的模型平行策略，將表分片儲存在可用的GPU上。推理階段，這種確定性特性使得「預取和重疊」策略成為可能。U型Scaling Law，揭秘最優分配比Engram作為條件記憶的一種實現形式，在結構上與MoE專家提供的條件計算是互補的。這裡，主要研究了以下兩個關鍵問題：1. 有限約束下的分配2. 無限記憶體場景作者通過三個參數指標來分析MoE和Engram之間的權衡：P_tot:總可訓練參數，不包括詞表嵌和LM頭。P_act：每個Token的啟動參數量。這個數值決定了訓練成本（FLOPs）。P_sparse≜P_tot-P_act：非啟動參數，這代表了「免費」的參數預算，可用於在不增加計算成本的情況下擴展模型規模。作者將分配比例ρ∈[0,1]定義為分配給MoE專家容量的非啟動參數預算的比例：直觀來說：ρ=1對應純MoE模型（所有非啟動參數都是參與路由的專家）。ρ＜1則減少路由專家的數量，並將釋放出來的參數重新分配給Engram嵌入槽位。結果與分析圖3（左）展示了驗證損失與分配比例ρ之間存在一致的U型關係。這種U型關係證實了兩個模組之間的結構互補性：MoE主導（ρ→100）：模型缺乏用於儲存靜態模式的專用記憶體，迫使它只能通過增加深度和計算量來低效地重建這些模式。Engram主導（ρ→0%）：模型失去了條件計算能力，從而損害了那些需要動態、上下文依賴推理的任務；在這種場景下，記憶無法替代計算。接下來，作者探索了一種互補的設定：激進的記憶體擴展。圖3（右）表明，擴充記憶體槽位的數量能帶來清晰且一致的驗證損失改善。在探索的範圍內，曲線遵循嚴格的冪律，這表明Engram提供了一種可預測的擴展調節手段：更大的記憶體能持續帶來收益，而無需額外的計算量。關於擴展效率關鍵的一點是：雖然OverEncoding的直接平均方法也能受益於更大的記憶體表，但Engram在相同的記憶體預算下解鎖了更大的擴展潛力。結合分配定律，這些結果驗證了——條件記憶可以作為稀疏容量的一個獨特且可擴展的維度，與MoE的條件計算相輔相成。爆殺傳統MoE，知識推理數學全面漲基於Engram架構以及實驗得出的分配定律，作者將Engram擴展到了數十億參數的等級，以此來驗證其在現實世界LLM預訓練中的有效性。他們訓練了以下四個模型：Dense-4B （總參數4.1B）MoE-27B （總參數26.7B）Engram-27B （總參數26.7B）Engram-40B （總參數39.5B）實驗結果首先，與先前的文獻結論一致，稀疏架構表現出了優於密集模型的擴展定律。在相同的訓練計算預算下，所有三個稀疏變體（MoE-27B，Engram-27B/40B）在所有基準測試中都顯著擊敗了等FLOPs的Dense-4B基線。更重要的是，Engram-27B始終優於等參數且等FLOPs的MoE-27B基線。有趣的是，這些收益並不僅限於知識密集型任務（MMLU：+3.0，MMLU-Pro：+1.8，CMMLU：+4.0）。在通用推理領域（BBH：+5.0，ARC-Challenge：+3.7，DROP：+3.3），以及程式碼和數學推理（HumanEval：+3.0，MBPP：+1.6，GSM8K：+2.2，MATH：+2.4）中，提升更為顯著。這些結果支援了他們的假設：引入一個專用的知識尋找原語所帶來的表示效率提升，要超過將所有稀疏預算都分配給條件計算的效果。最後，擴展到Engram-40B進一步降低了預訓練損失，並在大多數基準測試中提升了性能。可以觀察到，Engram-40B與基線之間的訓練損失差距在訓練後期仍在持續擴大，這表明擴大的記憶體容量在當前的Token預算內尚未完全飽和。注意力徹底解放，32k上下文性能狂飆通過將局部依賴建模的任務解除安裝給靜態尋找，Engram架構保留了寶貴的注意力容量來管理全域上下文。通過長上下文擴展訓練，作者證明了Engram在長程檢索和推理任務上帶來了顯著的提升。實驗結果1. 超越注意力機制的長上下文能力雖然注意力機制和位置編碼提供了處理上下文的結構基礎，但結果表明，長上下文性能並非僅由架構先驗決定。軌跡可見，長上下文性能與基座模型的通用建模能力本質上是掛鉤的。因此，嚴格的架構比較必須通過對齊基座模型的Loss來控制這一干擾變數，而不僅僅是簡單地對齊訓練步數。2. 受控設定下的架構優越性在上述原則的指導下，作者將Engram與MoE 基線進行了對比。當控制了基座能力後，Engram模組的效率增益就變得非常明顯：等Loss設定（46k vs. 基線）：當對比預訓練Loss對齊的Engram-27B（46k）和完全訓練的MoE-27B（50k）時，Engram 展現出了顯著的增益。等FLOPs設定（50k vs. 基線）：在標準的等計算預算下，Engram-27B（50k）進一步拉大了這一差距，確立了全面的最佳性能。極端設定（≈82%計算量）：即便是提前停止訓練的Engram-27B（41k），在面對完全訓練的MoE-27B（50k）時依然極具競爭力。這凸顯了Engram架構內在的優越性。計算+記憶雙軸時代，直接融入V4？DeepSeek最新論文，打開了稀疏化的第二條路，是一條非常具有啟發性的路線：稀疏化模型進入了「計算+記憶」雙軸時代。MoE繼續負責動態計算與推理Engram負責儲存與檢索靜態知識與局部模式如上的U型scaling law證明了，稀疏預算全部給MoE，不是全域最優，留出一部分給Engram整體更強。1. 稀疏化目標變得更豐富了條件計算解決了FLOPs，條件記憶解決了容量與模式檢索，兩線均可互補。2. Engram收益帶有結構性它讓LLM知識能力暴漲同時，也間接提升了推理、數學、程式碼的性能，因為Transfomer主幹的深度和注意力計算效用更「值錢」了。3. 確定性查表，很適合系統最佳化模型預取和解除安裝很大，為「更大參數、同等吞吐」提供了一種可行的工程路線。如今，全網都在猜測，春節檔的V4有很大機率會把Engram融入主幹架構。回看此前DeepSeek路線：DeepSeek V2曾引入MLA，大幅提升了推理效率和KV快取友好度；DeepSeek V3持續最佳化MoE，實現無損負載平衡，訓練更穩定，成本更低。若是V4真的把Engram落地，那將不僅是參數規模的提升，更是架構範式的又一次躍遷。再加上，此前爆出，V4程式碼實力可能趕超Claude、ChatGPT系列。今年的春節大禮，真是讓人期待。(新智元)
